??數(shù)據(jù)存儲(chǔ)已成為工作、生活中必不可少的一部分。中國目前的大數(shù)據(jù)時(shí)代發(fā)展迅速，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)備份已無法滿足用戶的需求，而木橋比較常用的數(shù)據(jù)處理方式可分為實(shí)時(shí)處理和離線處理。

??

數(shù)據(jù)的分類

??一．實(shí)時(shí)處理：Flume+Kafka+Storm+Mongo

通過Flume進(jìn)行數(shù)據(jù)的的采集，將數(shù)據(jù)推送給Kafka作為數(shù)據(jù)的緩存層，Storm作為kafka的消費(fèi)者，從而進(jìn)行實(shí)時(shí)的處理。最終，通過Web展示給前端，能夠?qū)崟r(shí)統(tǒng)計(jì)和分析車輛的在線總數(shù)，軌跡點(diǎn)總數(shù)，對(duì)此可以做一些相關(guān)的應(yīng)用。

??數(shù)據(jù)來源：主要是Nginx 服務(wù)器獲取的GPS數(shù)據(jù)和MSp數(shù)據(jù)格式都是JSON。

??數(shù)據(jù)采集：通過Flume的攔截器對(duì)日志進(jìn)行預(yù)處理，將數(shù)據(jù)存儲(chǔ)在緩存層kafka。

??數(shù)據(jù)統(tǒng)計(jì)：通過Storm實(shí)時(shí)拉取數(shù)據(jù)做計(jì)算，將臨時(shí)結(jié)果數(shù)據(jù)存儲(chǔ)在Redis。

??數(shù)據(jù)落地：最終的數(shù)據(jù)存儲(chǔ)在Mongo中，定時(shí)獲取Redis中的數(shù)據(jù)，存儲(chǔ)在Mongo。

??Web展示：查詢數(shù)據(jù)庫定時(shí)更新前端頁面，可以查看車輛的一些情況。

??二．離線處理：hadoop +hive

Hadoop分布式存儲(chǔ)+分布式運(yùn)算的框架，可以對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，解決單節(jié)點(diǎn)極限性。

通過編寫MapReduce可以批量統(tǒng)計(jì)某個(gè)地域的車輛里程情況、道路等級(jí)，通過速度判斷車型、車輛駕駛情況等，使用Hive做數(shù)據(jù)倉庫，可以統(tǒng)計(jì)最近一年或者兩年的數(shù)據(jù)，進(jìn)行數(shù)據(jù)的建模和歷史數(shù)據(jù)的統(tǒng)計(jì)和分析。

常用的離線數(shù)據(jù)存儲(chǔ)備份有磁盤、光盤庫等存儲(chǔ)方式。可有效的避免因?yàn)榫W(wǎng)絡(luò)、黑客等原因造成的數(shù)據(jù)丟失等問題，更好的對(duì)數(shù)據(jù)進(jìn)行了保護(hù)。更詳細(xì)離線數(shù)據(jù)處理方案等咨詢可致電“成都吉福匯”，專業(yè)的技術(shù)和服務(wù)團(tuán)隊(duì)，為您提供專業(yè)的解決方案。

??400-028-4366/028-85538251